GeneDock帮助用户传输数规范

1 说明

本文档的适用于客户硬盘寄送数据到GeneDock，通过GeneDock的专线上传数据。为了高效帮助客户传输数据，包括上传数据和下载数据，特制定该传输规范。

2 流程图

流程图如下：

3 流程说明

3.1 数据准备

用户上传数据时，需要将上传的数据放到移动硬盘的一个文件夹。

用户下载数据时，需要检查所要下载云端目录的数据可用性。

3.2 数据传输配置文件准备

为了方便GeneDock技术人员高效传输数据，数据传输申请者需要在寄送硬盘前填写相关配置文件，gd_transfer.yml（填写格式见下文）并放在移动硬盘根目录。

【重要】检查上述配置文件是否正确。

3.3 硬盘寄送及数据传输

硬盘寄送到GeneDock，GeneDock的技术人员会按照配置文件进行传输数据。

3.4 传输日志发送

传输完成后，对配置文件里面的邮箱地址会收到传输统计信息。

4 gd_transfer.yml 附录内容

source_paths: ['/abc/', '/data/test.txt']
target_path: '/home/admin/'
access_id: '<your_access_id>'
access_key: 'your_access_key>'
mails: ['test@genedock.com','test@example.com']
endpoint: 'https://cn-beijing-api.genedock.com'
option: 'upload'
suffixes: []  # 仅上传可用，[]等价于上传所有文件；['gz']仅上传后缀为gz的文件。
force: false # 如果文件存在，则覆盖上传。

注意:

  • sources_paths 为源数据列表，可以指定文件或文件夹。如需要下载云端数据，不填写account则下载当前账号下的路径。
  • target_path 为目的文件夹地址，仅可指定文件夹。如需要上传到云端数据，不填写account则上传到当前账号下的路径。
  • access_id 为上传账号的 access_id。
  • mails 邮箱地址，用来接收数据传输的回执邮件，可以有多个。
  • access_key 为上传账号的 access_key。
  • endpoint 为需要操作的域地址。(beijing：https://cn-beijing-api.genedock.com，shenzhen：https://cn-shenzhen-api.genedock.com)
  • option 表示操作的名称，只可为 upload 或 download 。
  • suffixes 表示仅上传指定后缀文件，[]等价于上传所有文件；[‘gz’]仅上传后缀为gz的文件。source_paths 中指定的文件不受此限制。
  • force 设置 true 表示目的地址已经存在数据，则覆盖这些数据，请谨慎设置。 仅可为 true 或 false

【注意事项】

  1. 必须确保Access Key和Access ID 正确；
  2. 必须确保Access Key和Access ID 拥有目录有权限；
  3. 下载数据时，确保硬盘空间足够；
  4. 数据传输配置文件名称必须为 gd_transfer.yml；
  5. 确保邮箱畅通可用。

5 案例

5.1 数据上传(gd_transfer.yml)

需要上传磁盘中的如下文件至北京域 /home/admin/GeneDock/ 目录:

|-- data/
|-- data2/
|-- test.txt

gd_transfer.yml内容：

source_paths: ['/data/','/data2/','/test.txt']
target_path: '/home/admin/GeneDock/'
access_id: '<your_access_id>'
access_key: '<yout_access_key>'
mails: ['test@genedock.com','test@example.com']
endpoint: 'https://cn-beijing-api.genedock.com'
option: 'upload'
suffixes: ['gz']

5.2 数据下载(gd_transfer.yml)

需要下载深圳域的 /home/admin/data/ 至磁盘 /GeneDock/ 目录。在磁盘根目录新建 gd_transfer.yml 文件，内容如下：

gd_transfer.yml内容：

source_paths: ['/home/admin/data/']
target_path: '/GeneDock/'
access_id: '<your_access_id>'
access_key: '<your_access_key>'
mails: ['test@genedock.com','test@example.com']
endpoint: 'https://cn-shenzhen-api.genedock.com'
option: 'download'
上一页下一页